home *** CD-ROM | disk | FTP | other *** search
/ Internet Magazine 2003 Spring / INTERNET101.ISO / pc / software / windows / building / robot_manager / robotmanagersetup.exe / {app} / known.qh < prev    next >
Encoding:
Text File  |  2002-11-25  |  754 b   |  13 lines
  1. <P><B>Edit Known Spiders</B><HR></P>
  2. <P>The Known Spider list lets you add, edit, and delete spiders that
  3.  Robot-Manager Professional would not normally detect. This includes any spiders
  4.  that don't hit your <b>robots.txt</b> file. Robot-Manager uses the hits on
  5.  your robots.txt file to determine what spiders have visited your web site. If
  6.  a spider does not hit this file, Robot-Manager cannot detect it without some
  7.  help. Use this list to tell Robot-Manager about those spiders you discover
  8.  which aren't hitting the robots.txt file.<br></P>
  9. <P><IMG src="idx:0"> <B>Notes</B>
  10. <br>
  11. Robot-Manager can use POSIX style regular expressions to match groups of spiders
  12.  either by host name or IP address, which ever your log file supports.</P>
  13.